iT 邦幫忙::一起幫忙解決難題，拯救 IT 人的一天

1 Like 0 留言 167 瀏覽

鐵人賽 Software Development

從一萬元開始交易：收割韭菜三十天，量化交易工具製作系列第 32 篇

技術【Day 32】蒐集證交所公開資料 / 取得每日成交量排行前二十大股票

在沒有行情的收盤或假日時段，也可以找點事情來做。好比是回顧歷史，借古鑑今。判斷一檔股票是否熱絡，可以直接從「交易量排行榜」很直觀地看出。而去撈取交易量 “...

二坪山小弱砲 ‧ 2024-10-22 ‧團隊北投溫泉公園的蛞蝓觀察小隊

0 Like 0 留言 120 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 30

老闆，外帶一份 AWS Certified Data Engineer 系列第 30 篇

技術【Day 29】做題庫小試身手 - 11

先前我們針對 ExamTopics 的免費 32 題進行了準備。接下來，你還可以註冊 AWS Skill Builder 去看免費的課程，做免費題庫。（雖然根據...

二坪山小弱砲 ‧ 2024-10-14

2 Like 1 留言 139 瀏覽

鐵人賽 AI/ ML & Data DAY 30

這跟文件說的不一樣！從 0 到 1 導入 dbt 的實戰甘苦談系列第 30 篇

技術 DAY 30 Dbt 跟文件說的不一樣！你真的需要 dbt 嗎？

為什麼我們需要 dbt？我們真的需要它嗎？今天又在 Medium 看到這篇 No, Data Engineers Don’t NEED dbt.，在談論到底需...

阿晟 ‧ 2024-10-14 ‧團隊資料工程師甘苦談

0 Like 0 留言 114 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 29

老闆，外帶一份 AWS Certified Data Engineer 系列第 29 篇

技術【Day 29】做題庫小試身手 - 10

題目題庫 Questions Q33 A company has a frontend ReactJS website that uses Amazo...

二坪山小弱砲 ‧ 2024-10-13

0 Like 0 留言 195 瀏覽

技術 Databricks Certified Data Engineer Associate 高分備考指南- Overview

前言這是一篇關於如何取得Databricks Data Engineer Associate的備考指南,希望可以通過這一篇文章幫助大家也可以取得證照。 Pre...

vivi_vey ‧ 2024-10-13

0 Like 0 留言 91 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 28

老闆，外帶一份 AWS Certified Data Engineer 系列第 28 篇

技術【Day 28】做題庫小試身手 - 9

題目題庫 Questions Q30 A company is migrating a legacy application to an Amazon...

二坪山小弱砲 ‧ 2024-10-12

0 Like 0 留言 147 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 27

老闆，外帶一份 AWS Certified Data Engineer 系列第 27 篇

技術【Day 27】做題庫小試身手 - 8

題目題庫 Questions Q27 A company wants to implement real-time analytics capabil...

二坪山小弱砲 ‧ 2024-10-11

0 Like 0 留言 92 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 26

老闆，外帶一份 AWS Certified Data Engineer 系列第 26 篇

技術【Day 26】做題庫小試身手 - 7

題目題庫 Questions Q23 A company currently stores all of its data in Amazon S3...

二坪山小弱砲 ‧ 2024-10-10

0 Like 0 留言 189 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 25

老闆，外帶一份 AWS Certified Data Engineer 系列第 25 篇

技術【Day 25】做題庫小試身手 - 6

題目題庫 Questions Q19 A data engineer must orchestrate a series of Amazon Athe...

二坪山小弱砲 ‧ 2024-10-09

0 Like 0 留言 90 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 24

老闆，外帶一份 AWS Certified Data Engineer 系列第 24 篇

技術【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

RabbitMQ 是由 Rabbit 公司所開發。不過因為公司被 VMware 收購再被 Broadcom 收購，是誰的好像不是那麼重要。 Apache Ka...

二坪山小弱砲 ‧ 2024-10-08

0 Like 0 留言 84 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 23

老闆，外帶一份 AWS Certified Data Engineer 系列第 23 篇

技術【Day 23】 Amazon Kinesis Firehose 的簡單介紹

前一回，稍微看過了 Amazon Kinesis Data Streams，今天來說說另外一個也冠名 Kinesis 的服務 - Amazon Kinesis...

二坪山小弱砲 ‧ 2024-10-07

0 Like 0 留言 86 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 22

老闆，外帶一份 AWS Certified Data Engineer 系列第 22 篇

技術【Day 22】 Amazon Kinesis Data Streams 的簡單介紹

在前面做題庫的部分，出現了關於「Amazon Kinesis Data Streams」，所以今天來說說這個服務。 REF Amazon Kinesis...

二坪山小弱砲 ‧ 2024-10-06

0 Like 0 留言 143 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 21

老闆，外帶一份 AWS Certified Data Engineer 系列第 21 篇

技術【Day 21】做題庫小試身手 - 5

題目題庫 Questions Q15 A data engineer needs to securely transfer 5 TB of data...

二坪山小弱砲 ‧ 2024-10-05

0 Like 0 留言 107 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 20

老闆，外帶一份 AWS Certified Data Engineer 系列第 20 篇

技術【Day 20】做題庫小試身手 - 4

題目題庫 Questions Q11 A data engineer needs Amazon Athena queries to finish fa...

二坪山小弱砲 ‧ 2024-10-04

0 Like 0 留言 77 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 19

老闆，外帶一份 AWS Certified Data Engineer 系列第 19 篇

技術【Day 19】 Hadoop / Spark / Amazon EMR

考古 Hadoop 是在 2006 時，就已經問世的老東西了。而大概在十年前的時候，Spark 針對記憶體的方面進行優化和改良，利用物理的方式超車了 Hado...

二坪山小弱砲 ‧ 2024-10-03

0 Like 0 留言 156 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 18

老闆，外帶一份 AWS Certified Data Engineer 系列第 18 篇

技術【Day 18】做題庫小試身手 - 3

題目題庫 Questions Q7 A financial services company stores financial data in Ama...

二坪山小弱砲 ‧ 2024-10-02

0 Like 0 留言 85 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 17

老闆，外帶一份 AWS Certified Data Engineer 系列第 17 篇

技術【Day 17】 AWS 上的容器服務

現在已經 2024，距離 Docker Container 問世已經 11 年半了。關於容器的優缺點和特性，可以參考先前我分享在 2022 的文章：【Day...

二坪山小弱砲 ‧ 2024-10-01

0 Like 0 留言 167 瀏覽

鐵人賽佛心分享-我的證照是這樣攻略的 DAY 15

老闆，外帶一份 AWS Certified Data Engineer 系列第 15 篇

技術【Day 15】做題庫小試身手 - 2

題目題庫 Questions Q4 A financial company wants to implement a data mesh. The d...

二坪山小弱砲 ‧ 2024-09-29

0 Like 0 留言 127 瀏覽

鐵人賽 DevOps DAY 3

我獨自升級：從水管工走向 DataOps 系列第 3 篇

技術【Day 3】DataOps 是什麼？

1. DataOps 名稱由來 DataOps 最早是 Lenny Liebmann 在 2014 年提出，主要是為了優化數據流的整合和自動化，進而確保數據質量...

Shawn ‧ 2024-09-17

0 Like 1 留言 630 瀏覽

鐵人賽 AI & Data DAY 30

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 30 篇

技術『Day30』Data pipeline 優化以及結語

今天就是鐵人賽最後一天了，回想過去的一個月裡真的做了很多的事情，感謝鐵人賽能讓我的生活變得更豐富(爆炸？)以及充實。透過這次的鐵人賽也讓我有機會能夠整理關於 D...

無聊工程師 bored_engineer ‧ 2023-10-15

0 Like 0 留言 750 瀏覽

鐵人賽 AI & Data DAY 29

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 29 篇

技術『Day29』DAG 程式碼設計優化方向

不知不覺已經來到鐵人賽最後兩天了，加油！在讀本篇文章的讀者們，非常感謝你們一路的支持！在本系列的初期，我們有介紹到 Airflow 的設計概念，其中一個很重要的...

無聊工程師 bored_engineer ‧ 2023-10-14

0 Like 0 留言 431 瀏覽

鐵人賽 AI & Data DAY 28

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 28 篇

技術『Day28』部署 DAG

在我們開發完成 DAG 之後，通常並非一次性就結束了，隨著時間過去，需求有持續不斷的改變，而我們的程式也必須持續的修改以及優化。有一個良好的開發流程以及 CI/...

無聊工程師 bored_engineer ‧ 2023-10-13

0 Like 0 留言 516 瀏覽

鐵人賽 AI & Data DAY 27

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 27 篇

技術『Day27』來幫 DAG 寫寫測試吧

在我們開發 weather_dag 之後，我們介紹了如何透過 View 以及警報來監控 DAG 執行的狀況。在開發之後其實還有一件非常重要的事，那就是測試，對於...

無聊工程師 bored_engineer ‧ 2023-10-12

0 Like 0 留言 715 瀏覽

鐵人賽 AI & Data DAY 26

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 26 篇

技術『Day26』加入警報讓 Airflow 主動通知

上一篇跟大家分享了 Airflow 功能強大的各種 View。而這篇要來跟大家分享警報的實作方法。不同於 View 是開發者以及維運人員需要主動進行查看，警報則...

無聊工程師 bored_engineer ‧ 2023-10-11

0 Like 0 留言 508 瀏覽

鐵人賽 AI & Data DAY 25

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 25 篇

技術『Day25』使用 View 來監控執行狀況

在前兩天中，我們開發了天氣資訊的 DAG，我們知道在軟體工程的實踐中，開發只是一個部分，開發完成之後，後續的維運、監控以及持續的修正也是非常的重要。Airflo...

無聊工程師 bored_engineer ‧ 2023-10-10

0 Like 0 留言 505 瀏覽

鐵人賽 AI & Data DAY 24

Rust 加 MLOps，你說有沒有搞頭？系列第 24 篇

技術 [Day 24] - 資料處理和特徵工程 🔢 (下) | Rust x Jupyter 資料工程 🦀

今日份 Ferris 今天 Ferris 要大展身手了！ Rust REPL REPL（讀音：REH-ple）代表 Read-Eval-Print Loop，是...

chihying ‧ 2023-10-09

0 Like 0 留言 538 瀏覽

鐵人賽 AI & Data DAY 24

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 24 篇

技術『Day24』來做個天氣資訊 DAG 吧 (下)

昨天我們建立了天氣資訊 DAG 的基本架構和流程。今天我們來繼續實作細部的 Task 工作。首先我們從 Extract Function 進行實作。實作 Ex...

無聊工程師 bored_engineer ‧ 2023-10-09

0 Like 1 留言 526 瀏覽

鐵人賽 AI & Data DAY 23

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 23 篇

技術『Day23』來做個天氣資訊 DAG 吧 (上)

還記得我們第一次寫的 first_dag 嗎？當時只是基本的寫了一個 DAG 的雛形，在經過這幾天更了解 DAG 各個元件之後，大家是不是覺得躍躍欲試呢，相信大...

無聊工程師 bored_engineer ‧ 2023-10-08

0 Like 0 留言 867 瀏覽

鐵人賽 AI & Data DAY 22

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 22 篇

技術『Day22』Operator 介紹

在對於外部的連結之後，我們再細部介紹一下 Operator 的使用，其實在 Operator 層級也可以有不同的使用方法。Operator 本身有多種種類，其作...

無聊工程師 bored_engineer ‧ 2023-10-07

0 Like 0 留言 693 瀏覽

鐵人賽 AI & Data DAY 21

Data pipeline 建起來！用 Airflow 開發你的 Data pipeline 系列第 21 篇

技術『Day21』使用 Conn、Hook 進行外部連接

到目前為止我們了解，DAG 如何建立，如何設定關聯關係，如何傳遞變數。而在Data pipeline 當中還有很重要的一個部分是與外部系統溝通。 Airflow...

無聊工程師 bored_engineer ‧ 2023-10-06

技術 【Day 32】 蒐集證交所公開資料 / 取得每日成交量排行前二十大股票

技術 【Day 29】 做題庫小試身手 - 11

技術 DAY 30 Dbt 跟文件說的不一樣！你真的需要 dbt 嗎？

技術 【Day 29】 做題庫小試身手 - 10

技術 Databricks Certified Data Engineer Associate 高分備考指南- Overview

技術 【Day 28】 做題庫小試身手 - 9

技術 【Day 27】 做題庫小試身手 - 8

技術 【Day 26】 做題庫小試身手 - 7

技術 【Day 25】 做題庫小試身手 - 6

技術 【Day 24】 Amazon MQ / Amazon Managed Streaming for Apache Kafka (MSK)

技術 【Day 23】 Amazon Kinesis Firehose 的簡單介紹

技術 【Day 22】 Amazon Kinesis Data Streams 的簡單介紹

技術 【Day 21】 做題庫小試身手 - 5

技術 【Day 20】 做題庫小試身手 - 4

技術 【Day 19】 Hadoop / Spark / Amazon EMR

技術 【Day 18】 做題庫小試身手 - 3

技術 【Day 17】 AWS 上的容器服務

技術 【Day 15】 做題庫小試身手 - 2

技術 【Day 3】DataOps 是什麼？

技術 『Day30』Data pipeline 優化以及結語

技術 『Day29』DAG 程式碼設計優化方向

技術 『Day28』部署 DAG

技術 『Day27』來幫 DAG 寫寫測試吧

技術 『Day26』加入警報讓 Airflow 主動通知

技術 『Day25』使用 View 來監控執行狀況